We present SODA: the first publicly available, million-scale high-quality social dialogue dataset. Using SODA, we train COSMO: a generalizable conversation agent outperforming previous best-performing agents on both in- and out-of-domain datasets. In contrast to most existing crowdsourced, small-scale dialogue corpora, we distill 1.5M socially-grounded dialogues from a pre-trained language model (InstructGPT; Ouyang et al., 2022). Dialogues are distilled by contextualizing social commonsense knowledge from a knowledge graph (Atomic10x; West et al., 2022). Human evaluation shows that dialogues in SODA are more consistent, specific, and (surprisingly) natural than prior human-authored datasets - e.g., DailyDialog (Li et al., 2017), BlendedSkillTalk (Smith et al., 2020). In addition, extensive evaluations show that COSMO is significantly more natural and consistent on unseen datasets than best-performing dialogue models - e.g., GODEL (Peng et al., 2022), BlenderBot (Roller et al., 2021), DialoGPT (Zhang et al., 2020). Furthermore, it is sometimes even preferred to the original human-written gold responses. We make our data, models, and code public.
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
在模板和搜索区域之间学习强大的功能匹配对于3D暹罗跟踪至关重要。暹罗功能匹配的核心是如何在模板和搜索区域之间的相应点上分配高特征相似性，以进行精确的对象本地化。在本文中，我们提出了一个新颖的点云登记驱动的暹罗跟踪框架，直觉是空间对齐相应点（通过3D注册）倾向于实现一致的特征表示。具体而言，我们的方法由两个模块组成，包括特定于特定的非局部注册模块和一个注册辅助的sindhorn模板 - 特征聚合模块。登记模块在模板和搜索区域之间的精确空间对齐中进行目标。提出了跟踪特异性的空间距离约束，以优化非局部模块中的交叉注意权重，以进行判别特征学习。然后，我们使用加权SVD来计算模板和搜索区域之间的刚性转换，并对齐它们以实现所需的空间对齐相应点。对于特征聚合模型，我们将转换模板和搜索区域之间的特征匹配作为最佳传输问题，并利用Sinkhorn优化来搜索异常型匹配匹配解决方案。同样，建造了登记辅助空间距离图，以改善无法区分的区域（例如光滑的表面）的匹配鲁棒性。最后，在获得的功能匹配地图的指导下，我们将目标信息从模板中汇总到搜索区域中以构建特定于目标的特征，然后将其馈送到一个类似中心点的检测头中以进行对象定位。关于Kitti，Nuscenes和Waymo数据集的广泛实验验证了我们提出的方法的有效性。
translated by 谷歌翻译
准确注释的图像数据集是研究动物行为的重要组成部分。与我们知道并且可能存在的物种数量相比，现有的标记姿势数据集仅覆盖其中的一小部分，而构建全面的大规模数据集则非常昂贵。在这里，我们提出了一种非常数据有效的策略，该策略针对四足动物的姿势估计，该策略仅需要少量来自目标动物的真实图像。可以证实，在诸如ImageNet之类的通用图像数据集上具有预计权重的骨干网络可以减轻对目标动物姿势数据的高需求，并通过了解对物体细分和关键点估计的先验知识来缩短训练时间。但是，当面对严重的数据稀缺性（即$ <10^2 $真实图像）时，模型性能保持不令人满意，尤其是对于具有相当灵活性和几个可比零件的四肢而言。因此，我们引入了一种称为Pasyn的先前感知的合成动物数据生成管道，以增强动物姿势数据对可靠的姿势估计所必需的数据。 Pasyn通过在几种动画3D动物模型上训练变异生成模型，生成概率 - valid合成姿势数据集，突触。此外，样式转移策略被用来将合成动物形象融合到真实背景中。我们通过三个流行的骨干网络评估了方法的改进，并测试了其姿势估计的准确性，并在动物园中从真实动物中收集的公共动物姿势图像以及从真实的动物中收集的姿势估计准确性。
translated by 谷歌翻译
机器人超声（US）成像旨在克服美国自由企业考试的一些局限性，例如难以保证操作员可重复性。然而，由于患者之间的解剖学和生理变化以及解剖下结构的相对运动，富有鲁棒性产生最佳轨迹以检查感兴趣的解剖学时，当他们构成明确的关节时，这是一项挑战。为了应对这一挑战，本文提出了一种基于视觉的方法，允许自动机器人美国肢体扫描。为此，使用带注释的血管结构的人臂的Atlas MRI模板用于生成轨迹并注册并将其投射到患者的皮肤表面上，以进行机器人的美国获得。为了有效地细分并准确地重建目标的3D容器，我们通过将通道注意模块纳入U-NET型神经网络中，利用连续美国框架中的空间连续性。自动轨迹生成方法对具有各种铰接关节角度的六名志愿者进行评估。在所有情况下，该系统都可以成功地获取志愿者四肢上计划的血管结构。对于一名志愿者，还提供了MRI扫描，可以评估美国图像中扫描动脉的平均半径，从而导致半径估计（$ 1.2 \ pm0.05〜mm $）可与MRI地面真相相当（$ 1.2 \ $ $） PM0.04〜mm $）。
translated by 谷歌翻译
对比学习在图表学习领域表现出了巨大的希望。通过手动构建正/负样本，大多数图对比度学习方法依赖于基于矢量内部产品的相似性度量标准来区分图形表示样品。但是，手工制作的样品构建（例如，图表的节点或边缘的扰动）可能无法有效捕获图形的固有局部结构。同样，基于矢量内部产品的相似性度量标准无法完全利用图形的局部结构来表征图差。为此，在本文中，我们提出了一种基于自适应子图生成的新型对比度学习框架，以实现有效且强大的自我监督图表示学习，并且最佳传输距离被用作子绘图之间的相似性度量。它的目的是通过捕获图的固有结构来生成对比样品，并根据子图的特征和结构同时区分样品。具体而言，对于每个中心节点，通过自适应学习关系权重与相应邻域的节点，我们首先开发一个网络来生成插值子图。然后，我们分别构建来自相同和不同节点的子图的正和负对。最后，我们采用两种类型的最佳运输距离（即Wasserstein距离和Gromov-Wasserstein距离）来构建结构化的对比损失。基准数据集上的广泛节点分类实验验证了我们的图形对比学习方法的有效性。
translated by 谷歌翻译
处理聚类问题在数据统计数据统计，模式识别和图像处理中很重要。平均换档算法是一种公共无监督算法，广泛用于解决聚类问题。然而，平均移位算法受其巨额计算资源成本的限制。在以前的研究[10]中，我们提出了一种新型GPU加速的更快的平均移位算法，这大大加快了余弦嵌入的聚类问题。在本研究中，我们扩展并改进了以前的算法来处理欧几里德距离度量。不同于传统的基于GPU的平均移位算法，我们的算法采用新颖的种子选择和早期停止方法，这大大提高了计算速度并降低了GPU存储器消耗。在仿真测试中，在处理200k点聚类问题时，与基于最先进的GPU的平均换档算法相比，我们的算法达到了3次加速度，具有优化的GPU存储器消耗。此外，在本研究中，我们实现了一种用于更快的平均移位算法的即插即用模型，可以轻松地部署。 （即插即用型号可用：https://github.com/masqm/faster-mean-shift-euc）
translated by 谷歌翻译
神经文本生成的主导范式是自回归语言模型的左右解码。然而，复杂的词汇约束下的受约束或可控发生的产生需要远见计划未来可行的未来路径。从A *搜索算法绘制灵感，我们提出了一种神经系统A * esque，一种解码算法包含未来成本的启发式估计。我们开发了高效的寻找高效，对大规模语言模型有效，使我们的方法成为诸如光束搜索和顶-K采样等共同技术的替代品。为了使受约束的产生，我们构建了神经系统解码（Lu等，2021），将其灵活性结合到与未来约束满足的* esque估计结合起来的逻辑限制。我们的方法在五代任务中优于竞争力的基线，并在表格到文本生成，受限机器翻译和关键字的生成中实现了新的最先进的性能。在需要复杂约束满足或少量拍摄或零拍摄设置的任务上，改进尤其显着。神经系统A * esque说明了用于改进和实现大规模语言模型的新功能的解码的力量。
translated by 谷歌翻译
最近已被证明大型语言模型在各种任务集中获得合理的零射普通化（Brown等，2020）。它已经假设这是语言模型的隐式多任务学习的结果，在语言模型中的预押（Radford等，2019）。可以通过明确的多任务学习直接引起零拍常规化？为了以缩放测试这个问题，我们开发一个系统，以便轻松地将任何自然语言任务映射到人类可读的提示表单中。我们转换一组大量的监督数据集，每个数据集都有多个提示，具有不同的措辞。这些提示的数据集允许基准测试模型执行完全看不见的任务的能力。我们介绍了一个普拉克尔编码器 - 解码器模型（Raffel等，2020; Lester等，2021），覆盖各种任务。该模型在多个标准数据集中达到强大的零点性能，通常优于其尺寸的型号超过16倍。此外，我们的方法对来自Big-替补基准测试的任务子集具有强烈性能，优于其尺寸的6倍。所有提示和培训的型号都可以在https://github.com/ bigscience-workshop / protectsource / httpsource / https：//huggingface.co/bigscience/t0pp。
translated by 谷歌翻译
随着人工智能系统变得越来越强大和普遍，人们对机器的道德或缺乏道德的关注变得越来越关注。然而，向机器讲授道德是一项艰巨的任务，因为道德仍然是人类中最激烈的争论问题之一，更不用说AI了。但是，部署到数百万用户的现有AI系统已经在做出充满道德影响的决策，这构成了一个看似不可能的挑战：教学机器的道德意义，而人类继续努力努力。为了探索这一挑战，我们介绍了Delphi，这是一个基于深层神经网络的实验框架，直接训练了描述性道德判断，例如，“帮助朋友”通常是不错的，而“帮助朋友传播假新闻”不是。经验结果提供了对机器伦理的承诺和局限性的新见解。面对新的道德情况，德尔菲（Delphi）表现出强大的概括能力，而现成的神经网络模型表现出明显差的判断，包括不公正的偏见，证实了对明确教学机器的道德意义的必要性。然而，德尔菲并不完美，表现出对普遍性偏见和不一致的敏感性。尽管如此，我们还是展示了不完美的Delphi的积极用例，包括在其他不完美的AI系统中将其用作组件模型。重要的是，我们根据著名的道德理论来解释Delphi的运营化，这使我们提出了重要的未来研究问题。
translated by 谷歌翻译